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(57) Abstract: The invention relates to a method far testing a product, especially an automobile, for quality defects, and to a system 
(100) for processing the data resulting from such a test The aim of the invention is to further develop a method and system of this 
type with a view to simplifying the method and the necessary exchange of data with the system. To this end, the invention provides 
that a tester is assisted during the testing process by an augmented reality (AR) system which is linked to the system (100) and which 
receives and/or outputs to the tester data relevant to the testing. 
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Die folgenden Angaben sind den vom Anmelder eingereichten Unterlagen entnommen 

(§4) Verfahren und System zum Planen einer veranderten Produktionsurngebung, insbesondere einer 
Fertigungsumgebung fur Fahrzeugkomponenten 

(57) Die Erfindung betrifft ein Verfahren und ein System 
zum Planen einer veranderten Produktionsurngebung, 
insbesondere einer Fertigungsumgebung fur Fahrzeug- 
komponenten, insbesondere fur Automobile, ausgehend 
von einer realexistierenden Fertigungsumgebung. Die 
Ptanung erfolgt ublicherweise mit Hilfe von Software- 
Werkzeugen 120-1... 120-n, welche virtuelle Planungser 
gebnisse erzeugen. Es ist die Aufgabe der Erfindung, ein 
derartiges bekanntes Verfahren und System so weiterzu- 
bilden, dafc eine Validierung von Planungsdaten praziser 
moglich ist und deshalb die Kosten fur die Planung redu- 
ziert werden konnen. Diese Aufgabe wird erfindungsge- 
mafc dadurch gelost, daft die virtuellen Planungsergeb- 
nisse mit Hilfe eines Augmented Reality AR-Systems mit 
der realen Fertigungsumgebung uberlagert werden. 
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Beschreibung 

|0001] Die Erfindung betrifft ein Vcrfahren und ein Sy- 
stem zuni Planen einer veranderten Produktionsumgcbung, 
insbesondere einer Ferligungsumgebung fur Fahrzeugkom- 5 
ponenten, insbesondere fur Automobile. 
|0002] Dabei.wird vorausgesetzt, daB die Planung zum 
Verandern einer real existierenden Ferligungsumgebung 
vorgenommen wird. Unter der real existierenden Ferli- 
gungsumgebung ist z. B. eine leers tehende Fabrikhalle zu to 
verstehen. Geplant sein kann dann z. B. eine Veranderung 
der bestehenden Umgebung in Form der Errichtung einer 
ProduktionsstraBe fur die Fahrzeugkomponenten in der 
noch leerstehenden Fabrikhalle. 

10003] Aus dem Stand der Technik ist es bekannt, daB zur t5 
Fertigungsplanung vorzugsweise Soflware-Werkzeuge ein- 
gesetzt werden. Diese Werkzeuge ermoglichen eine 2- oder 
3-dimensionale virtuelle Darstellung und Simulation von 
Planungsergebnissen. So ermoglichen sie beispiels weise 
eine virtuelle Darstellung eines geplanten Layouts fur die 20 
ProduktionsstraBe Oder eine virtuelle Simulation des Bewe- 
gungsablaufs von Fahrzeugkomponenten, wahrend diese 
auf der geplanten ProduktionsstraBe gefertigt werden. Auch 
eine Uberlagerung von virtuellen Planungsergebnissen ist 
moglich. So ist es moglich, die ProduktionsstraBe in Funk- 25 
tion virtuell zu simulieren, indent ihr geplantes Layout mil 
dem zugehorigen geplanten Bewegungsablauf der Fahr- 
zeugkomponenten uberlagert wird. 

10004] Den erwahnien Soft ware- Werkzeugen fur Pla- 
nungszwecke haftet jedoch der Nachteil an, daft sie keine 30 
Uberlagerung eines virtuellen Planungsergebnisses mil der 
zugehorigen realen Umgebung ermoglichen, in welcher Pla- 
nungsobjekte, die durch die Planungsergcbnisse repriisen- 
tiert werden, spater tatsachlich aufgebaut werden und funk- 
tionieren sollen. Damil fehlt den Planern eine Moglichkeit 35 
ihre Planungsobjekte an der realen Umgebung zu validieren. 
|0005] Dieser Nachteil wird auch durch die Lehre der 
Druckschrift DE 198 32 974 Al nicht ubcrwundcn. Diese 
Lehre sieht eine Uberlagerung von Bilddaten virtueller 
Komponenten einer Fabrikationsanlage aus einer Kompo- 40 
nentenbibliothek mil Bilddaten einer real existierenden Fa- 
brikationsanlage. 

[0006] Die verwendeten Bilddaten reprasentieren die Rea- 
litau insbesondere die reale Fabrikationsanlage nur nahe- 
rungsweise; ein Abgleich mil der Realilat findet deshalb 45 
demnachliur in unzulanglicher Weise stall. AuBerdem ist 
die in der DE 198 32 974 vorgestellt Vorrichtung nicht als 
Planungshilfe fur veranderte Fabrikationsunigebungen ge- 
dacht, sondcrn lediglich zur Abbildung einer real existieren- 
den Anlage in ein entsprechendes virtuelle Anlagenmodell. 50 
[0007] Erwahnt sei an dieser Stelle auch, daB sogenannte 
Augmented Reality AR-Syslemc zur Uberlagerung einer 
virtuellen mil einer realen Welt grundsatzlieh im Stand der 
Technik bekannt sind. Diese Systeme sehen vor, daB einem 
Anwender virtuelle In format ionen, vorzugsweise iiber eine 55 
halbdurchlassige sogenannte Datenbrille in sein Sichtfeld 
einblendet werden und so seine Wahrnehmung gegenuber 
seiner rcinen realen Sicht durch die Brille erweilerl wird. 
Dies geschieht komextabhangig, d. h. angepaBt an eine je- 
weilige Situation in welcher sich der Anwender geradc be- 60 
findet. Als Informationen konnen grundsatzlieh jegliche Ar- 
ten von Daten, insbesondere Bild- oder Textdatcn, einge- 
blendet werden. Solche AR-Systeme finden bisher z. B. in 
der Flugzeugproduktion Anwendung. 

|0008| Ausgehend von dem eingangs beschriebenen 65 
Stand der Technik ist es die Aufgabe der Erfindung, ein be- 
kanntcs Vcrfahren und System zum Planen einer verander- 
ten Ferligungsumgebung fur Fahrzeugkomponenten derart 



'015 A 1 

2 

weiterzubilden. daB eine Validierung von Planungsdaten, 
d. h. eine Uberprufung von Planungsdaten im Hinblick auf 
ihre Richtigkeil, praziser moglich ist und deshalb die Kosien 
fur die Planung reduziert werden konnen. 
|0009] Diese Aufgabe wird fur das eingangs genannte 
Verfahren gemaB Patentanspruch 1 dadurch gelost, daB die 
virtuellen Planungsergcbnisse mil Hilfe eines Augmented 
Reality AR-Systems mil der realen Fertigungsuiiigebung 
uberlagert werden. 

[0010] Das AR-System ermoglicht eine Uberlagerung von 
virtuellen Planungsergebnissen, welche z. B. in Form von 
digitalen 2 oder 3 dimensionalen Bilddaten vorliegen, mit 
der Realitat. Die Uberlagerung findet stall vor Oru d. h. am 
Ort der realen Umgebung, in welche das Ob jekt der Planung 
spater aufgebaut werden und funktionieren soil. Das AR- 
System blendet die virtuellen Planungsergebnisse vorzugs- 
weise in eine halbdurchlassige sogenannte Datenbrille ein, 
damit sie sich im Sichtfeld des Triigers der Datenbrille, der 
sich vor Ort befindet, mil dessen Sicht auf die reale Umge- 
bung uberlagern. 

[0011] Auf diese Weise ermoglicht das erfindungsgemaBe 
Vcrfahren eine genaue Kontrolle oder Kollisionsanalyse, ob 
ein durch das virtuelle Planungsergebnis reprasentiertes Pla- 
nungsobjekte 7.. B. eine FertigungsstraRe, iiherhaupt in eine 
dafiir vorgesehene reale Umgebung, z. B. eine real vorhan- 
dene Fabrikhalle hineinpassen wurde. Dariiber hinaus kon- 
nen auch Bewegungsablaufe des Planungsobjektes in der 
realen Umgebung simuliert und iiberpruft werden. Die Kon- 
trolle kann voneilhafterweise virtuell, d. h. ohne daB das 
Planungsobjekt tatsachlich in der realen Umgebung aufge- 
baut werden muB, erfolgen. Dadurch daB die Kontrolle am " 
Ort der realen Umgebung stattfindet, ist die Gefahr von Pla- 
nungsfehlern erhcblich reduziert, was wiederum eine Ver- 
ringerung der Planungskosten mit sich bringt. 
[0012] Die Kontrolle oder Kollisionsanalyse, d. h. die 
Auswertung der Uberlagerung von virtuellen Planungsob- 
jekt en mil der realen Umgebung, kann entweder durch eine 
Person, i.d.R. den Tragcr der Datenbrille. oder abcr automa- 
tisch durch eine an das AR-System angeschlossene Aus- 
werteeinrichtung erfolgen. 

[0013] Die genannte Aufgabe der Erfindung wird weiter- 
hin durch das in Patentanspruch 4 beanspruchte System ge- 
lost. Die Vorteile des Systems entsprechen den oben fur das 
Verfahren genannten Vorteilcn. Vorteilhafterweise kann das 
AR-System an vorhandene Standard Hard-/Software ange- 
schlossen werden bzw. in besiehende Planungs werkzeuge 
integriert werden. 

[0014] Es ist vorieilhaft, wenn die Datenbrille drahtlos, 
z. B. per Funkverbindung an das System angeschlossen ist, 
weil der Trager der Datenbrille dann mobil, d. h. unabhan- 
gig von dem Standort des Systems frei beweglich ist. 
[0015] Weitere vorteilhafte Ausgestallungen der Erfin- 
dung sind Gegenstand der Unteranspruche. 
[0016] Der Beschreibung sind zwei Figuren beigefiigt, 
wobei 

10017] Fig. 1 ein System zum Planen einer veranderten 
Fertigungsuiiigebung fur Fahrzeugkomponenten gemaB der 
Erfindung; und 

|0018] Fig. 2 ein Ausfiihrungsbeispiel fur das erfindungs- 
gemaBe Verfahren zeigt .. 

|0019] GemaB Fig. 1 umfaBt das erfindungsgemaBe Sy- 
stem zum Planen einer veranderten Ferligungsumgebung fiir 
Fahrzeugkomponenten, zunachst einen vorzugsweise zen- 
tralen Datenspeicher 110 zum Speichem von Planungsda- 
ten. An diesem Datenspeicher 110 ist zumindest ein Soft- 
ware- Werkzeug 120-1 . . . 120-n angeschlossen, welches 
virtuelle Planungsergcbnisse erzeugt . Ein Planungsergebnis 
kann z. B. das Layout einer ProduktionsstraBe oder eines In- 
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duslrieroboters 240 sein. Das Layout ist. ublicherweise auf 
die reale Umgebung, in welcher die ProduktionsstraBe oder 
der Industrieroboter 240 s pater aufgestellt werden soil, ab- 
gestimmt. ErfindungsgemaB ist das zuinindest eine Soft- 
ware-Werkzeug 120-1 . . . 120-n an ein Augmented Reality 
AR- System 130 angeschlossen. Das AR-Sysleni 130 er- 
moglicht eine Uberlagerung der virtuellen Planungsergeb- 
nisse mil de r realen Umgebung. Zu diesem Zweck ist. an das 
. AR-System 130 eine halbdurchlassige, sogenannte Daten- 
brille 134 angeschlossen. Ein am Ort der realen Umgebung 
befindlicher Trager der Datenbrille 134 hat dann zum einen 
durch die Datenbrille hindurch eine freie Sicht auf die reale 
Umgebung. Zum anderen wird ihm von dem AR-System 
130 ein virtuelles Planungsergebnisin die Datenbrille einge- 
blendet. Auf diese Weise findet im Sichtfeld der Datenbrille 
134 eine Uberlagerung der virtuellen Planungsergebnisse 
mil der realen Umgebung st.au. 

[00201 Vorteilhafterweise werden die Planungsergebnisse 
bzw. die Planungsobjekte 3-dimensional eingeblendet, well 
auf diese Weise beim Trager der Datenbrille die Vorstellung 
uber die raumliche Integration des Planungsobjektes in die 
* ohnehin 3-dimensional vorhandene reale Umgebung er- 
leichtert wird. 

[0021] Die Uberlagerung von virtuellen Planungsobjekten 
mil I in der realen Umgebung ermdglicht dem Trager der 
Datenbrille 134 eine einfache Moglichkeit fur eine Kollisi- 
onsanalyse, d. h. eine Uberprufung, ob das Planungsobjekt 
von seinen Abmessungen oder von seinem Aktionsradius 
her uberhaupt an einer vorgesehen S telle in der realen Um- 
gebung positioniert werden kann. Fur eine derartige Uber- 
prufung isi es vorteilhaft, wenn die Planungsobjekte sowohl 
statisch, d. h. ruhend. wie auch in Bewegung in die Brille 
134 eingeblendet werden konnen. 

[0022] Die Kollisionsanalyse kann entweder von einem 
Menschen, insbesondere dem Trager der Datenbrille 134, 
oder aber maschinell vorgenommen werden. 
[0023] Wenn die Kollisionsanalyse durch den Trager der 
Datenbrille 134 durchgefuhrt wird, dann muB diese event u- 
elle Kollisionen zwischen dem Planungsobjekt und der rea- 
len Umgebung durch die Brille beobachten und tiber eine 
Ein- und Ausgabevorrichtung 136 dem AR-System mittei- 
len. 

[0024] - Wenn alternativ dazu, die Kollisionsanalyse ma- 
schinell durchgefuhrt werden soli, muB die reale Umgebung 
von einer Kamera 132 erfaBl und von einer nachgeschalte- 
ten Vermessungseinrichtung 131, welche die von der Ka- 
mera 132 erzeugten Bilddaten der realen Umgebung aus- 
wertet, vennessen werden. Die von der Vermessungsein- 
richtung 131 erzeugten Daten, welche die geometrischen 
Abmessungen realen Umgebung reprasentieren, werden 
nachfolgend in einer Auswerteeinrichtung 133 mil den vir- 
tuellen Daten eines Planungsobjektes, welches in die reale 
Umgebung integnert werden soil, iiberlagert. Dabei repra- 
sentieren die virtuellen Daten das Planungsobjekt. in alien 
mog lichen Bcwegungszustanden, d. h. sie reprasentieren 
auch dessen Aktionsradius. Die Auswerteeinrichtung fuhrt 
dann bei der Uberlagerung der Daten automatisch eine Kol- 
lisionsanalyse durch. Das Ergebnis der Kollisionsanalyse 
kann dann z. B. uber die Ein-/Ausgabevorrichtung 136 ab- 
gerufen werden. 

[0025J Fig* 2 zeigt einen Blick durch eine halbdurchlas- 
sige Datenbrille 134 bei einer Kollisionsanalyse als Ausfuh- 
rungsbeispiel fur die Erfindung. Der Trager der Datenbrille 
134, vorzugs weise ein ausfuhrender Planer, stent dabei in 
der realen Umgebung, z. B. in einer real existierenden leer- 
stehenden Fabrikhalle. Er erkennt durch die Brille 134 den 
Boden 210 der Fabrikhalle, eine tragende Saule 220 und die 
Deckc der Fabrikhalle 230. ErfindungsgemaB wird ihm nun 



mit Hille der Brille 134 ein geplanter virtueller Industriero- 
boter 240 als Planungsobjekt in sein Sichtfeld eingeblendet. 
Der Roboter 240 wird dabei vorteilhafterweise drei dimen- 
sional so in das Sichtfeld des Planers eingeblendet, daB der 
5 Planer den Roboter an genau der von ihm geplanten Stelle 
auf dem Boden 210 der Fabrikationshalle stehen sieht. Der 
Roboter 240 wird nicht nur stillstehend, sondern auch in Be- 
wegung eingeblendet . Auf diese Weise kann der Planer sehr 
schnell und prazise feststellen, ob der urspriinglich geplante 
to Standort fur den Roboter 240, diesem einen ausreichenden 
Aktionsspielraum gewahrt oder nicht. Wenn bei bestimmten 
Bewegungen des Roboters 240 eine Kollision mit der tra- 
genden Saule 220 oder mil der Decke 230 zu befurchten ist, 
wird der Planer gegebenenfalls den Standort des Roboters 
15 240 aufgrund seiner Erkenntnisse aus der Kollisionsanalyse 
verandern. 

[0026] Die Kollisionsprufung erfolgt erfindungsgemaB in 
der realen Umgebung, wodurch Planungsfehler vennindert 
oder sogar ganz vennieden werden. Weil die virtuellen Pla- 
20 nungsergebnisse mit der realen Umgebung iiberlagert wer- 
den, ist es nicht ertorderlich, daB z. B. der Roboter 240 fur 
eine Kollisionsanalyse tatsachlich in der Halle aufgebaut 
werden tnuBte. Dadurch werden Planungskosten eingespart. 



25 Bezugszeichenliste 

110 Datenspeicher 
120-1 . . . 120-n Software- Werkzeug 
130 AR-System 
30 131 Vermessungseinrichtung 

132 Kamera 

133 Auswerteeinrichtung 

134 Datenbrille 

136 Ausgabevorrichtung 
35 230 Fabrikhalle 
240 Industrieroboter 

Patcntanspruchc 

40 1. Verfahren zum Planen einer veranderten Produkti- 

onsumgebung, insbesondere einer Fertigungs umge- 
bung fur Automobilkomponenten, ausgehend von einer 
real existierenden Fertigungsumgebung, wobei virtu- 
el le Planungsergebnisse erzeugt werden, dadurch ge- 

45 kennzeiclinel, daB die virluellen Planungsergebnisse 

mit Hilfe eines Augmented Reality AR-Systems (130) 
mit der realen Fertigungsumgebung uberlagert werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, daB die Uberlagerung der virtuellen Planungser- 

50 gebnisse mit der realen Fertigungsumgebung entweder 
von einer Person oder automatisch ausgewertet wer- 
den. 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekenn-^ 
zeichnet, daB die virtuellen Planungsergebnisse in 

55 Form statischer oder bewegter Bilder vorliegen. 

4. System zum Planen einer veranderten Fertigungs- 
umgebung fur Fahrzeugkomponenten, insbesondere 
fur Automobilkomponenten, ausgehend von einer real 
existierenden Fertigungsumgebung, mit einem Daten- 

60 speicher (110) zum Speichern von Planungsdaten; und 
zuinindest einem an den Datenspeicher angeschlosse- 
nen Software- Werkzeug (120-1 . . . 120-n) zum Erzeu- 
gen von virtuellen Planungsergebnissen; gekennzeich- 
net durch ein Augmentend Reality AR-System (130) 

65 zum Uberlagern der virtuellen Planungsergebnisse mit 
der realen Fertigungsumgebung. 

5. System nach Anspruch 4, gekennzeichnet durch 
eine an das AR-System (130) angeschiossene Daten- 
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brille (134), zum Durchfiihren der Uberlagerung im 
Sichtfcld des Tragers der Datenbrille (134). 

6. System nach Anspruch 5, dadurch gekennzeichnet, 
daB die Datenbrille (134) drahtlos an das AR-Systeni 
(130) angeschlossen ist. 5 

7. System nach einem der Anspruche 4-6, gekenn- 
zeichnet durch eine an das AR-System (130) ange- 
schlossene Kaniera (132) zum erfassen der realen Um- 
gebung. - 

8. System nach Anspruch 7, dadurch gekennzeichnet, 10 
daB das AR- System (130) eine Vermessungseinrich- 
tung (131) zum Vermessen der von der Kamera (132) 
als Bilddatum crfaBten realen Umgebung. 

9. System nach einem der Anspruche 4-8, dadurch ge- 
kennzeichnet, daB das AR-System (130) eine A us- 15 
werteeinrichtung (133) zum Auswerten der Uberlage- 
rung im Hinblick auf mdgliche Kollisionen aufweist. 
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